로지스틱 회귀

로지스틱 함수는 S자 형태의 곡선을 가지는 시그모이드 함수의 한 종류이다. 이 함수는 임의의 실수 입력값을 0과 1 사이의 확률 값으로 변환하는 역할을 한다. 로지스틱 회귀의 핵심이 되는 이 함수는 통계학, 생물학, 경제학 등 다양한 분야에서 성장 모델이나 확률적 현상을 설명하는 데 널리 사용된다.

함수의 표준적인 형태는 f(x) = 1 / (1 + e^{-x}) 이다. 여기서 e는 자연로그의 밑을 나타낸다. 이 공식에서 입력 x가 음의 무한대로 가면 함수값은 0에 수렴하고, 양의 무한대로 가면 1에 수렴한다. x가 0일 때 함수값은 정확히 0.5가 된다. 이 특성 덕분에 함수의 출력을 어떤 사건이 발생할 확률로 해석하기에 매우 적합하다.

로지스틱 함수의 도함수는 계산상 편리한 특성을 지닌다. 도함수는 f'(x) = f(x) * (1 - f(x)) 로 표현될 수 있다[1]. 이 자기 참조적 형태는 경사 하강법을 이용한 모델 학습 시 비용 함수의 기울기를 계산할 때 중요한 역할을 한다.

로지스틱 회귀의 가설 함수는 입력 특징 벡터를 받아 해당 샘플이 특정 클래스에 속할 확률을 출력하는 함수이다. 이진 분류 문제에서 가설 함수는 일반적으로 시그모이드 함수를 사용하여 0과 1 사이의 확률값을 생성한다.

가설 함수는 다음과 같은 형태를 가진다.

h_θ(x) = g(θ^T x) = 1 / (1 + e^{-θ^T x})

여기서 g(z)는 시그모이드 함수(로지스틱 함수)를, θ는 모델의 가중치 파라미터 벡터를, x는 입력 특징 벡터를 나타낸다. 함수의 출력 h_θ(x)는 주어진 x에 대해 y=1(양성 클래스)일 확률로 해석된다. 즉, P(y=1 | x; θ) = h_θ(x)이다.

가설 함수의 결정 경계는 θ^T x = 0일 때 형성된다. 이는 h_θ(x) = 0.5가 되는 지점으로, 모델이 두 클래스를 구분하는 선형 의사결정 경계를 정의한다. 경계의 한쪽(θ^T x > 0)은 양성 클래스로, 다른 쪽(θ^T x < 0)은 음성 클래스로 분류될 가능성이 높다.

이 함수는 선형 회귀의 가설 함수와 달리 출력을 확률로 제한하기 때문에 분류 문제에 직접 적용할 수 있다. 모델 학습의 목표는 실제 레이블 y와 가설 함수의 예측 확률 h_θ(x) 사이의 차이를 최소화하는 최적의 파라미터 θ를 찾는 것이다.

로지스틱 회귀의 비용 함수는 모델의 예측값(가설 함수의 출력)과 실제 관측값 사이의 오차를 측정하는 함수이다. 이 함수의 값을 최소화하는 방향으로 모델의 매개변수를 조정하여 학습이 진행된다. 로지스틱 회귀에서는 일반적으로 최대우도추정 원리를 기반으로 한 로그 손실 함수를 비용 함수로 사용한다.

이진 분류의 경우, 실제 레이블 y가 0 또는 1의 값을 가질 때, 하나의 데이터 샘플에 대한 로그 손실은 다음과 같이 정의된다.

Cost(hθ(x), y) = -y log(hθ(x)) - (1 - y) log(1 - hθ(x))

여기서 hθ(x)는 로지스틱 함수를 통해 계산된 예측 확률을 의미한다. 이 공식은 y=1일 때 -log(hθ(x))가, y=0일 때 -log(1 - hθ(x))가 비용이 되도록 설계되어 있다. 예측 확률이 실제 레이블에 가까울수록 비용은 0에 가까워지고, 반대일수록 비용은 매우 커진다.

전체 훈련 데이터셋에 대한 평균 비용 함수 J(θ)는 모든 m개의 샘플에 대한 개별 비용의 평균으로 계산된다.

J(θ) = -(1/m) Σ [yⁱ log(hθ(xⁱ)) + (1 - yⁱ) log(1 - hθ(xⁱ))]

학습 알고리즘인 경사 하강법 또는 다른 최적화 알고리즘은 이 J(θ)를 최소화하는 매개변수 θ를 찾는 것을 목표로 한다. 이 비용 함수는 볼록 함수의 성질을 가지므로, 경사 하강법을 통해 전역 최솟값을 찾을 수 있도록 보장한다[2].

로지스틱 회귀 모델의 매개변수를 학습하기 위해 가장 널리 사용되는 최적화 알고리즘이다. 이 방법은 비용 함수의 기울기(경사)를 계산하여 매개변수를 조금씩 업데이트하며, 비용 함수의 값을 최소화하는 방향으로 나아간다.

로지스틱 회귀에서 경사 하강법을 적용하려면 먼저 가중치와 편향에 대한 비용 함수의 편미분을 계산해야 한다. 이 계산 결과는 각 매개변수가 비용 함수에 미치는 영향을 나타내며, 이 기울기의 반대 방향으로 매개변수를 조정한다. 매개변수 업데이트는 다음 공식에 따라 이루어진다.

θ_j := θ_j - α * ∂J(θ)/∂θ_j

여기서 θ는 매개변수 벡터, α는 학습률, J(θ)는 비용 함수이다. 학습률은 매 업데이트 단계의 크기를 결정하는 중요한 초매개변수이다.

학습률의 선택은 알고리즘의 성능에 결정적 영향을 미친다. 너무 작은 학습률은 수렴 속도를 매우 느리게 만들고, 너무 큰 학습률은 비용 함수의 값을 발산시키거나 최소점을 지나쳐버리는 문제를 일으킬 수 있다. 또한, 경사 하강법에는 모든 학습 데이터를 사용하는 배치 경사 하강법, 미니배치를 사용하는 확률적 경사 하강법 및 그 변형들이 존재한다. 로지스틱 회귀의 비용 함수는 볼록 함수의 성질을 가지므로, 적절한 학습률 하에서 경사 하강법은 전역 최소점에 수렴함이 보장된다.

정규화는 로지스틱 회귀 모델의 과적합을 방지하고 일반화 성능을 향상시키기 위해 사용되는 기법이다. 특히 고차원 데이터나 특징의 수가 많을 때 모델이 훈련 데이터에 지나치게 맞춰져 복잡해지는 것을 규제한다. 정규화는 비용 함수에 페널티 항을 추가하여 모델 파라미터(가중치)의 크기를 제한하는 방식으로 작동한다.

주로 사용되는 두 가지 정규화 방법은 L1 정규화(라쏘)와 L2 정규화(릿지)이다. L1 정규화는 가중치의 절댓값의 합을 페널티로 추가하며, 일부 가중치를 정확히 0으로 만들어 특징 선택의 효과를 가져올 수 있다. 반면, L2 정규화는 가중치의 제곱의 합을 페널티로 추가하여 모든 가중치를 균일하게 작게 유지하려는 특성이 있다. 로지스틱 회귀의 비용 함수에 L2 정규화를 적용한 수식은 다음과 같다.

J(θ) = -1/m * Σ [y⁽ⁱ⁾ log(h(x⁽ⁱ⁾)) + (1-y⁽ⁱ⁾) log(1-h(x⁽ⁱ⁾))] + λ/(2m) * Σ θⱼ²

여기서 λ는 정규화 강도를 조절하는 하이퍼파라미터이며, j는 1부터 n까지의 특징 인덱스를 나타낸다.

정규화 강도 λ의 선택은 매우 중요하다. λ 값이 너무 크면 모델이 지나치게 단순해져 과소적합될 위험이 있고, 너무 작으면 정규화 효과가 미미해져 과적합을 방지하지 못할 수 있다. 최적의 λ 값은 일반적으로 교차 검증을 통해 결정한다. 정규화를 적용할 때는 편향 항(θ₀)에는 페널티를 주지 않는 것이 일반적이다.

One-vs-Rest는 로지스틱 회귀를 포함한 여러 이진 분류 알고리즘을 활용하여 다중 클래스 분류 문제를 해결하기 위한 전략이다. 이 접근법은 각 클래스를 나머지 모든 클래스와 대조하는 방식으로 작동한다. 즉, N개의 클래스가 존재할 경우, N개의 독립적인 이진 분류기를 훈련시킨다. k번째 분류기는 '클래스 k'를 양성 클래스로, '클래스 k를 제외한 나머지 모든 클래스'를 하나로 묶어 음성 클래스로 설정하여 데이터를 학습한다.

최종적으로 새로운 샘플을 분류할 때는, 각 분류기가 자신의 양성 클래스에 속할 확률(또는 결정 점수)을 출력한다. 이 중 가장 높은 확률값(또는 점수)을 내는 분류기의 양성 클래스로 샘플을 할당한다. 예를 들어, 붓꽃 데이터셋의 세 종류(Setosa, Versicolor, Virginica)를 분류한다면, 다음과 같은 세 개의 분류기가 생성된다.

이 방법의 주요 장점은 구현이 간단하고 이해하기 쉬우며, 기존에 잘 구현된 효율적인 이진 분류 알고리즘을 그대로 활용할 수 있다는 점이다. 그러나 클래스 간 불균형이 심각한 데이터셋에서는 특정 분류기의 음성 클래스 샘플 수가 압도적으로 많아져 성능이 저하될 수 있다[3]. 또한, 각 분류기가 독립적으로 학습되기 때문에 클래스 간의 상관관계나 계층적 구조를 명시적으로 고려하지 못한다는 한계가 있다. One-vs-Rest는 서포트 벡터 머신과 같은 다른 이진 분류 모델에도 널리 적용되는 일반적인 다중 클래스 분류 전략이다.

Softmax 회귀는 로지스틱 회귀를 두 개 이상의 범주를 대상으로 하는 다중 클래스 분류 문제로 일반화한 모델이다. 다항 로지스틱 회귀(Multinomial Logistic Regression)라고도 불린다. 이진 분류에서는 시그모이드 함수를 사용하여 한 클래스에 속할 확률을 계산하지만, Softmax 회귀에서는 소프트맥스 함수를 사용하여 각 클래스에 속할 확률을 계산하고, 모든 클래스의 확률 합이 1이 되도록 정규화한다.

모델은 각 클래스에 대해 독립적인 가중치 벡터를 학습한다. 입력 특성 벡터 x가 주어졌을 때, 각 클래스 k에 대한 점수(또는 로짓) z_k = w_k^T * x + b_k를 계산한다. 이 점수들은 소프트맥스 함수를 통해 확률로 변환된다. 소프트맥스 함수는 특정 클래스 k의 예측 확률 P(y=k|x)를 모든 클래스의 점수에 대한 지수 함수 값의 합으로 나눈 비율로 정의한다[4]. 이 과정을 통해 가장 높은 확률을 가진 클래스가 최종 예측값으로 선택된다.

학습은 일반적으로 범주형 교차 엔트로피를 비용 함수로 사용하는 경사 하강법 또는 그 변형 알고리즘을 통해 이루어진다. 이 비용 함수는 모델이 예측한 확률 분포와 실제 레이블의 원-핫 인코딩된 분포 사이의 차이를 측정한다. Softmax 회귀는 로지스틱 회귀와 마찬가지로 선형 결정 경계를 생성하지만, 여러 개의 클래스를 구분하기 위해 여러 개의 선형 경계를 학습한다는 점이 특징이다. 이 모델은 이미지 분류, 자연어 처리의 문서 분류, 의료 진단 등 다양한 분야에서 기본적이면서도 효과적인 분류기로 널리 사용된다.

혼동 행렬은 이진 분류 모델의 성능을 평가할 때 예측 결과와 실제 클래스를 네 가지 범주로 나누어 표로 정리한 것이다. 이는 모델이 얼마나 정확하게 분류했는지를 세부적으로 분석하는 데 사용되는 기본 도구이다. 네 가지 범주는 참양성, 거짓양성, 거짓음성, 참음성으로 구성된다.

이 표를 통해 여러 성능 지표를 계산할 수 있다. 가장 기본적인 정확도는 (TP+TN)/(TP+TN+FP+FN)으로, 전체 예측 중 올바른 예측의 비율을 나타낸다. 그러나 데이터의 클래스 불균형이 심할 경우 정확도만으로는 모델 성능을 왜곡하여 판단할 수 있다. 예를 들어, 실제 데이터의 95%가 음성인 경우 모든 샘플을 음성으로 예측하는 모델도 95%의 정확도를 보일 수 있다. 따라서 더 세밀한 지표가 필요하다.

혼동 행렬에서 파생된 주요 지표로는 정밀도와 재현율이 있다. 정밀도(TP/(TP+FP))는 모델이 양성이라고 예측한 샘플 중 실제로 양성인 샘플의 비율을 의미하며, 거짓양성(FP)을 얼마나 줄였는지를 평가한다. 재현율(TP/(TP+FN))은 실제 양성인 샘플 중 모델이 올바르게 양성으로 예측한 비율을 의미하며, 거짓음성(FN)을 얼마나 잡아냈는지를 평가한다. 이 두 지표는 일반적으로 트레이드오프 관계에 있으며, 상황에 따라 중요도를 달리하여 모델을 평가한다. 이 둘을 조화평균한 값이 F1 점수이다.

이진 분류 모델의 성능을 평가할 때, 단순히 전체 정확도만으로는 불균형한 데이터셋이나 특정 오류의 중요성을 제대로 반영하지 못할 수 있다. 이를 보완하기 위해 정밀도, 재현율, 그리고 이를 종합한 F1 점수가 널리 사용된다. 이 지표들은 혼동 행렬에서 도출된 진양성, 진음성, 거짓양성, 거짓음성 값을 기반으로 계산된다.

정밀도는 모델이 양성이라고 예측한 샘플 중 실제로 양성인 샘플의 비율을 의미한다. 즉, '예측의 정확성'에 초점을 맞춘다. 높은 정밀도는 거짓양성을 최소화하는 모델을 나타내며, 스팸 메일 필터링처럼 잘못된 양성 판정(정상 메일을 스팸으로 분류)의 비용이 큰 경우 중요하게 고려된다. 재현율은 실제 양성인 샘플 중 모델이 올바르게 양성으로 예측한 샘플의 비율을 의미한다. '발견 능력'에 초점을 맞추며, 높은 재현율은 거짓음성을 최소화한다. 질병 진단처럼 실제 양성 케이스를 놓치는 비용이 매우 큰 경우 재현율이 핵심 평가 지표가 된다.

정밀도와 재현율은 일반적으로 트레이드오프 관계에 있다. 임계값을 조정하여 한 지표를 높이면 다른 지표는 낮아지는 경향이 있다. 따라서 두 지표를 하나의 숫자로 종합하여 모델을 비교하는 것이 유용한데, 이때 사용되는 것이 F1 점수이다. F1 점수는 정밀도와 재현율의 조화평균으로 계산되며, 두 지표가 모두 높을수록 높은 값을 가진다. 특히 데이터 분포가 불균형할 때 유용한 평가 지표로 작용한다.

이러한 지표들은 상황에 따라 상대적 중요도가 달라지므로, 단일 지표보다는 함께 고려하여 모델의 성능을 다각도로 평가하는 것이 바람직하다. 예를 들어, 고객 이탈 예측 모델에서는 이탈 고객(양성)을 최대한 찾아내는 재현율이 더 중요할 수 있는 반면, 금융 사기 탐지 모델에서는 정상 거래를 사기로 오판하는 것을 줄이는 정밀도가 더 중요할 수 있다.

ROC 곡선은 이진 분류 모델의 성능을 평가하는 데 널리 사용되는 그래픽 도구이다. 이 곡선은 분류기의 임계값을 변화시키면서 계산된 진짜 양성 비율(TPR, 재현율)과 거짓 양성 비율(FPR)의 관계를 나타낸다. ROC 곡선 아래의 면적을 AUC(Area Under the Curve)라고 하며, 이 값은 모델의 예측 능력을 0과 1 사이의 하나의 숫자로 요약하여 나타낸다.

완벽한 분류기(모든 샘플을 정확히 구분)의 ROC 곡선은 왼쪽 상단 모서리(TPR=1, FPR=0)를 지나고, AUC 값은 1이 된다. 반면, 무작위 추측에 의한 분류기의 ROC 곡선은 대각선(y=x)에 가깝게 나타나며, AUC 값은 약 0.5가 된다. 따라서 AUC 값이 0.5에 가까울수록 모델의 예측 능력이 낮음을 의미한다.

ROC 곡선과 AUC는 불균형 데이터셋에서도 비교적 안정적인 평가 지표를 제공한다는 장점이 있다. 또한, 정밀도-재현율 곡선과 달리 음성 클래스의 분포 변화에 덜 민감하다. 그러나 다중 클래스 분류 문제에는 직접 적용할 수 없으며, 일반적으로 One-vs-Rest 방식을 사용하여 각 클래스별로 ROC 곡선을 계산한다.